1.3 Resubstitution Validation and the Holdout Method

Holdout method（ホールドアウト法）

1. ラベル付きデータを訓練セットとテストセットに分ける

例：train 2/3、test 1/3のランダムサンプリング

2. 訓練セットでモデルを訓練し、テストセットのラベルをモデルに推論させる

テストセットのground truthラベルと予測されたラベルを比較し、モデルのprediction accuracyの見積りとする

同一の訓練セットでモデルを訓練して評価（＝resubstitution validation（再置換(?)バリデーション））

訓練データを単に記憶したモデル（汎化性能なし）なのか、汎化性能が十分なモデルなのか区別できない